Ông nội Phan Nhạc là Phan Cấn, là thái thú An Bình. Cha Phan Nhạc là Phan Tỷ, làm chức Lang Da nội sử. Anh trai Phan Nhạc là Phan Thích làm chức Thị ngự sử, em trai Phan Nhạc là Phan Báo, làm chức quan huyện lệnh huyện Yến, Phan Cư làm Tư đồ duyện, Phan Sân chưa làm quan. [TT 1]

Phan Nhạc sớm nổi tiếng là có tài năng, được đồng hương khen là kỳ đồng, trở thành mạc liêu của Tuân Úc, Giả Sung, cử Tú tài. [TT 2]

Nhưng Phan Nhạc không được dùng, thành ra mất 10 năm không làm gì, rồi được nhận chức Hà Dương [5] huyện lệnh. Phan Nhạc thấy bọn danh sĩ cùng lứa là Sơn Đào, Vương Tế, Bùi Giai được Tấn Vũ đế sủng hạnh, ông rất lấy làm uất ức và bất mãn. [TT 3] Sau này ông được chuyển làm Hoài huyện lệnh. [TT 4] Ở cả hai nơi này, Phan Nhạc siêng năng làm việc, có chánh tích, nên được gọi về kinh đô, làm Thượng thư Độ chi lang, rồi thăng làm Đình úy bình. Sau đó Phan Nhạc phạm lỗi nên chịu miễn quan. [TT 5]

Ngoại thích Dương Tuấn phụ chánh, lấy Nhạc làm Thái phó chủ bộ. Sở vương Tư Mã Vĩ giết Dương Tuấn, bức hại thủ hạ của ông ta. Trưởng sử của Vĩ là Công Tôn Hoành thuở hàn vi từng được Phan Nhạc chu cấp, nên cầu xin cho ông, vì thế Nhạc chỉ bị trừ danh. Ít lâu sau, Phan Nhạc được làm Trường An lệnh, rồi được triệu về kinh, bổ làm Bác sĩ, chưa nhận chức thì mẹ mất, nên chịu miễn quan. Sau đó Phan Nhạc được làm Trứ tác lang, chuyển làm Tán kỵ thị lang, thăng làm Cấp sự hoàng môn thị lang. [TT 6]

Trong lúc tình hình nhiều biến động, Phan Nhạc bộc lộ tính khí khinh suất nóng nảy, liều lĩnh đầu cơ chánh trị, cùng bọn Thạch Sùng nịnh hót ngoại thích Giả Mật (cháu ngoại của Giả Sung), trở thành người đứng đầu của 24 người bạn của Mật. [TT 7]

Triệu vương Tư Mã Luân giết hoàng hậu Giả Nam Phong, giành quyền phụ chánh, trọng dụng tâm phúc là Tôn Tú. Khi xưa Tôn Tú từng làm tiểu lại ở quận Lang Da, Phan Nhạc ghét thói xảo quyệt của hắn, nhiều lần đánh đập làm nhục, khiến hắn ngậm hờn, vu cáo Phan Nhạc với bọn Thạch Sùng mưu phản, rồi tru di tam tộc của ông, đến phụ nữ cũng không tha. Nhà họ Phan chỉ có con trai của Phan Thích là Phan Bá Vũ trốn thoát, mẹ của Nhạc và con gái của Phan Báo được chiếu chỉ tha chết. [TT 8]